Giáo hoàng Gioan XXIII ra quyết định vinh thăng Giám mục Laurean Rugambwa làm Hồng y đầu tiên của châu Phi. Lễ vinh thăng chính thức tổ chức vào ngày 28 tháng 3 năm 1960. Ông được phong Hồng y Đẳng linh mục Nhà thờ S. Francesco d’Assisi a Ripa Grande và chính thức đến nhận tước hiệu vào ngày 31 tháng 3 năm 1960.[1]

Cùng năm này, hồng y được Tòa Thánh thuyên chuyển làm giám mục chính tòa giáo phận Bukoba, sau khi giáo phận này bị chia tách để thành lập giáo phận Rulenge. Thời kỳ tại Bukoba, ông đào tạo nhiều người cả nam và nữ, chú trọng đến một số người được dự định đưa vào các vị trí lãnh đạo giáo hội. Ngoài ra, ông cũng cho thiết lập nhiều bệnh viện và trường học.[3]

Hồng y Rugambwa là một nghị phụ tham gia Công đồng Vatican II và tham gia đầy đủ trong bốn năm tổ chức công đồng.[2] Ông tham gia sớm và là nghị phụ tích cực, với quan điểm riêng là ủng hộ quốc tế hóa Giáo triều Rôma, điều chỉnh các nghi thức phục vụ theo hướng tôn trọng âm nhạc và phong tục địa phương. Ngoài ra, ông cũng ủng hộ đại kết các giáo phái Kitô khác, nhấn mạnh vai trò giáo dân trong đời sống Giáo hội.[6]